iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 1 留言 361 瀏覽

鐵人賽 AI & Data DAY 30

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 30 篇

技術『Day30』Data pipeline 優化以及結語

今天就是鐵人賽最後一天了，回想過去的一個月裡真的做了很多的事情，感謝鐵人賽能讓我的生活變得更豐富(爆炸？)以及充實。透過這次的鐵人賽也讓我有機會能夠整理關於 D...

無聊工程師 bored_engineer ‧ 2023-10-15

0 Like 0 留言 233 瀏覽

鐵人賽 AI & Data DAY 20

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 20 篇

技術『Day20』Variable 與 Template

在前兩天陸續介紹了 Airflow 如何進行參數傳遞的主題，以及 XCom 的設計及使用方法。今天接續著參數的話題來談談 Airflow Variable 及...

無聊工程師 bored_engineer ‧ 2023-10-05

0 Like 0 留言 408 瀏覽

鐵人賽 AI & Data DAY 12

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 12 篇

技術『Day12』Airflow DAG 介紹

今天也是在日本旅遊與鐵人競賽當中交錯，實在是十分有趣的經驗！今天看到日本許多有設計感的建築，覺得令人歎為觀止，我想除了設計的靈感之外，也需要強大的工程技術能力來...

無聊工程師 bored_engineer ‧ 2023-09-27

0 Like 0 留言 402 瀏覽

鐵人賽 AI & Data DAY 11

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 11 篇

技術『Day11』Airflow 介紹

不瞞大家，這幾天其實我在日本旅遊當中，所以鐵人賽對我來說真的是很鍛鍊啊！每天有很多行程之外，結束後還是要抓緊時間寫文章，真的是極度瘋狂！但是這過程中卻也覺得十分...

無聊工程師 bored_engineer ‧ 2023-09-26

0 Like 1 留言 495 瀏覽

鐵人賽 AI & Data DAY 10

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 10 篇

技術『Day10』如何設計實作 Data pipeline

在前幾天的內容當中，我們陸續介紹了 Data pipeline、Data pipeline 的種類、資料處理，資料品質等主題，相信大家對於 Data pipel...

無聊工程師 bored_engineer ‧ 2023-09-25

0 Like 0 留言 300 瀏覽

鐵人賽 AI & Data DAY 7

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 7 篇

技術『Day7』 Data pipeline 的種類

在建立Data pipeline 時我們常會碰到類似的場景。這邊帶大家了解一些常見的Data pipeline 類型，我們在開發Data pipeline 的時...

無聊工程師 bored_engineer ‧ 2023-09-22

0 Like 0 留言 292 瀏覽

鐵人賽 AI & Data DAY 6

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 6 篇

技術『Day6』 Data pipeline 介紹

管線無所不在，雖然說日常生活中常常不會注意到其存在，但是卻對我們的生活影響非常大。舉例來說，在做裝潢時，就必須要把未來房屋的使用情景進行評估。並且需要針對屋主進...

無聊工程師 bored_engineer ‧ 2023-09-21

1 Like 0 留言 409 瀏覽

鐵人賽 AI & Data DAY 2

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 2 篇

技術『Day 2』什麼是 Data Engineering

記得在學生時期，我因為對於學校的選課網站操作不太習慣，於是便自己寫了一個簡單的爬蟲程式，用來自動抓取課程資訊和教師評價。經整理後，我和朋友合作設計了一個使用者友...

無聊工程師 bored_engineer ‧ 2023-09-17

0 Like 1 留言 1007 瀏覽

鐵人賽 AI & Data DAY 12

吵什麼 AI 煉金術？！你家有礦嗎？(資料領域必知的 30 個詞彙) 系列第 12 篇

技術 Data Pipeline 資料管線(vs. ETL/ETL Pipeline)

我發現最近幾年的比較已經變成 Data Pipeline vs. ETL Pipeline。人外有人，天外有天這個系列讓我有機會再次更新自己資料領域的知識庫...

Anna Yen ‧ 2023-09-15

1 Like 0 留言 1463 瀏覽

鐵人賽 DevOps DAY 27

從零開始的 Jenkins 之旅系列第 27 篇

技術第二十七天 Jenkins 之旅：我的 BI 報表 Pipeline (7)

前言不知不覺鐵人賽好像快看到終點了 ...... 今天讓我們繼續處理 Data Pipeline 。由於這次我們會將最終結果以 Google Data St...

BenLiu ‧ 2022-09-27

技術 『Day30』Data pipeline 優化以及結語

技術 『Day20』Variable 與 Template

技術 『Day12』Airflow DAG 介紹

技術 『Day11』Airflow 介紹

技術 『Day10』 如何設計實作 Data pipeline

技術 『Day7』 Data pipeline 的種類

技術 『Day6』 Data pipeline 介紹

技術 『Day 2』什麼是 Data Engineering